CompassArena (arena de grandes modelos), la plataforma de evaluación de modelos grandes lanzada conjuntamente por el equipo de OpenCompass de Shanghai Artificial Intelligence Laboratory y ModelScope, ha recibido una actualización reciente para ofrecer a los usuarios una experiencia de evaluación de modelos más científica e integral. Desde su lanzamiento, la plataforma ha atraído a una gran cantidad de usuarios de la comunidad que han participado y contribuido con datos. Basándose en estos datos, CompassArena ha seguido optimizándose. Esta actualización incluye la nueva función Judge Copilot y mejoras en el algoritmo de clasificación.

El equipo de OpenCompass de Shanghai AI Lab, en colaboración con ModelScope, ha lanzado Compass Multi-Modal Arena, una nueva sección de la plataforma de evaluación de modelos grandes centrada en modelos multimodales. Los usuarios pueden cargar una imagen y plantear una pregunta, permitiendo que dos modelos multimodales anónimos generen respuestas. Posteriormente, se realiza una evaluación subjetiva de la calidad del contenido generado para elegir el modelo con mejor rendimiento. La plataforma ofrece una interfaz fácil de usar y un banco de preguntas especial, cuyo contenido se detalla más adelante.

La cantidad de parámetros no es el único estándar para evaluar los modelos grandes; las diferencias en los conjuntos de evaluación provocan grandes diferencias en la clasificación; el aumento de la proporción de preguntas subjetivas también afecta a la clasificación; la imparcialidad de la evaluación es fácilmente cuestionable; las agencias de evaluación de terceros como OpenCompass y FlagEval están empezando a recibir atención; el mundo académico considera que también se deben tener en cuenta la robustez y la seguridad del modelo en múltiples dimensiones; la forma de evaluación realmente completa y eficaz aún se encuentra en fase de exploración.